![]() 交換機和交換機中的組播流量讀取方法
专利摘要:
本發明涉及用於改善分組共用記憶體體系結構的組播性能的系統和方法。解決由共用記憶體組中的組播資料包產生的時間局部性係通過快取記憶體而得以解決。在一個實施方式中,組播資料包被存儲在與共用記憶體組相關聯的高速緩衝記憶體中。在另一實施方式中,組播資料包的讀取請求被存儲在讀取請求快取記憶體中,其中在實際讀取事件之前積累額外的讀取請求。 公开号:TW201324185A 申请号:TW101133673 申请日:2012-09-14 公开日:2013-06-16 发明作者:Brad Matthews 申请人:Broadcom Corp; IPC主号:H04L49-00
专利说明:
交換機和交換機中的組播流量讀取方法 本發明大體上涉及網路交換機,更具體地,涉及用於改善分組的(banked)共用記憶體體系結構的組播(multicast)性能的系統和方法。 資料通信基礎架構的需求不斷增長。各種因素驅動這些不斷增長的需求,包括互聯網多媒體應用(例如,新聞的發佈、財務資料、軟體、視頻,音訊和多人會議等)的日益增長的頻寬需求。為了適應日益增長的頻寬需求,通信鏈路(link)速度也不斷發展。例如,10億位元乙太網(GbE)埠通常用於現今的大量網路交換機上的I/O。 共用記憶體通常用於構建輸出佇列(OQ,Output Queued)交換機。OQ交換機以輸送量(throughput)最大化、使延遲最小化並且能夠提供服務品質(QoS)保證著稱。然而,共用記憶體交換機被認為不會很好地擴展到高容量交換機,因為對記憶體大小、記憶體頻寬和記憶體存取時間的需求隨著線速R和埠的數量N而線性地增加。例如,N埠交換機需要以快於線速N倍來操作以實現全輸送量。 考慮例如128×10 Gbps交換機。這裡,對於64位元組使用10 Gbps,並且有20位元組的資料包間間隙(IPG),資料包到達速率是大約67 ns。因此,記憶體需要在約67 ns內進行讀取和寫入。對於128埠10 Gbps交換機,記憶體需要支援在接收單個65位元組資料包所需要的時間內的所有的讀取和寫入。因此,存取時間為67 ns/(128讀取+128寫入)=約250 ps。應理解,250 ps的存取時間對現今的交換機是不實用。 為此,由於可擴展性,高容量交換機正朝向記憶體組(banks of memory)發展。通過多個共用記憶體組,頻寬需求可以被均勻地分佈在多個記憶體上,從而增加所需的記憶體存取時間。例如,單播流量所需要的平均記憶體頻寬減少了1/m,其中m是記憶體的數量。 雖然已知多個記憶體可增強單播流量的可擴展性,但組播流量給自身顯示出挑戰。例如,在給定的組播幀(frame)的所有資料包位於相同的記憶體中時,由於在同一時間幀或在同一事件幀前後對同一記憶體多次讀取會導致在該記憶體高度的時間局部性。因此,需要一種機制以提高分組共用記憶體體系結構中的組播性能。 基本上如同結合至少一個附圖所示的和/或描述的,與在申請專利範圍中更完整地闡述的一樣揭示一種用於提高分組共用記憶體體系結構的組播性能的系統和/或方法。 根據本發明的一個方面,提供了一種交換機,包括:多個入站埠(ingress ports),所述多個入站埠從相應的多個第一網路設備接收流量,所述多個第一網路設備經由各自的多個第一網路通信電纜而耦接至所述多個入站埠;多個出站埠(egress ports),所述多個出站埠向相應的多個第二網路設備發送流量(traffic),所述多個第二網路設備經由各自的多個第二網路通信電纜而耦接至所述多個出站埠;以及多個共用記憶體組,將所述多個入站埠耦接至所述多個出站埠,所述多個共用記憶體組中的每個都具有主記憶體,其中,與所述多個共用記憶體組中的第一共用記憶體組相關聯的高速緩衝記憶體用於存儲組播流量,從而使在所述第一共用記憶體組的主記憶體中存儲的單播流量的讀取能夠與所述第一共用記憶體組相關聯的所述高速緩衝記憶體中存儲的組播流量的讀取並行。 優選地,所述多個共用記憶體組中的每個都具有用於存儲組播流量的高速緩衝記憶體。 優選地,所述高速緩衝記憶體與一群共用記憶體組相關聯。 根據本發明的另一方面,提供了一種交換機中的組播流量讀取方法,包括:接收在多個共用記憶體組中的所確定的一個中存儲的組播流量資料包的讀取請求,所述多個共用記憶體組耦接所述交換機中的多個入站埠和多個出站埠;確定所請求的組播流量資料包是否存儲在與所述多個共用記憶體組的所確定的一個相關聯的高速緩衝記憶體中;如果確定所請求的組播流量資料包存儲在與所述多個共用記憶體組的所確定的一個相關聯的高速緩衝記憶體中,則從所述高速緩衝記憶體中讀取所請求的組播流量資料包;以及如果確定所請求的組播流量資料包未存儲在與所述多個共用記憶體組的所確定的一個相關聯的高速緩衝記憶體中,則從所述多個共用記憶體組中的所確定的一個的主記憶體讀取所請求的組播流量資料包。 優選地,所述確定包括確定所請求的組播流量資料包是否存儲在所述多個共用記憶體組中的所述一個中包含的高速緩衝記憶體中。 優選地,所述確定包括確定所請求的組播流量資料包是否存儲在與包括所述多個共用記憶體組的所述一個的多個共用記憶體組相關聯的高速緩衝記憶體中。 優選地,該方法還包括在從所述高速緩衝記憶體讀取所請求的組播流量資料包的同時,從所述多個共用記憶體組的所確定的一個的主記憶體中讀取所請求的單播流量資料包。 根據本發明的另一方面,提供了一種交換機中的組播流量讀取方法,包括:接收在多個共用記憶體組中的所確定的一個中存儲的組播流量資料包的讀取請求,所述多個共用記憶體組耦接所述交換機中的多個入站埠和多個出站埠;將對所述組播流量資料包的所述讀取請求存儲在請求快取記憶體中;在所述組播流量資料包的讀取事件之前,對所述組播流量資料包的額外讀取請求進行計數;以及將通過所述讀取事件獲得的所述組播流量資料包傳送到由所述額外讀取請求代表的多個出站埠。 優選地,該方法還包括將入站埠的確認傳遞到控制所述傳送的控制元件。 以下詳細討論本發明的各種實施方式。雖然討論了具體的實現方式,但應當理解這樣做僅用於說明的目的。在相關領域中技術人員將認識到,在不背離本發明的精神和範圍的情況下,可使用其他元件和配置。 隨著多媒體流量的消耗以極快的速度增加,組播流量已變得越來越重要。在將單個的資料流(stream)高效地傳輸到多個目的地時,組播提供節省網路頻寬的高效機制。為了支援多媒體應用的不斷擴展,底層基礎架構(underlying infrastructure)必須相應地提高其性能,以滿足一定程度的QoS保證。這裡底層基礎架構必須滿足諸如低延遲、最小抖動(jitter)、公平等等的性能要求。 如上所述,解決單個共用記憶體交換機的記憶體頻寬限制的一個解決方案是利用一組並行的共用記憶體。該方法的一個實例是並行共用記憶體交換機,其中,所有共用記憶體資源位於中心位置。該方法的另一實例是分散式共用記憶體交換機,其中,記憶體分佈於線卡(line cards)之間。從邏輯上講,分散式共用記憶體交換機相當於並行共用記憶體交換機。 應理解,記憶體管理演算法可用於確定在給定實現中所需要的記憶體單元的具體數量。然而,在這方面最重要的是來針對特定交換機所確定的記憶體單元的具體數量主要基於單播流量模型(models)。 另一方面,組播流量存在不同的挑戰。在將組播流量路由至多個輸出埠時,在共用記憶體交換機中可以利用多個方法。在一個方法中,在共用記憶體之前可以複製組播資料包。然而,由於多個副本保持在記憶體中,所以該方法將需求更大的記憶體。這樣減少了共用記憶體交換機的有效輸送量。 在另一方法中,可以從相同的記憶體位置多次讀取組播資料包,其中控制電路將組播資料包保持在記憶體中,直到為了分佈組播資料包而被讀出到組播組中的所有輸出埠。該方法也會導致效率低下,因為在特定共用記憶體組中組播資料包的存在將引入該特定共用記憶體組的高度時間局部性。該時間局部性將導致共用記憶體組中的瓶頸,因為共用記憶體組被限制為每時隙(time slot)一次讀取。 例如,如果記憶體管理模組將組播資料包發送到記憶體單元,並且組播資料包被傳送到輸出埠1至N中的每個,然後相同組播資料包的N個讀取將需要在N個時隙發生,因為每個時隙只發生一次讀取。這將有效地減少記憶體單元的輸送量,因為在記憶體單元中的其他單播資料包的讀取可被延遲。因此,可能發生線速(line rate)的折中。 在本發明中認別到可採用由組播流量在共用記憶體組中產生的時間局部性來解決線速問題。因此,通過使用快取記憶體(cache)協助共用記憶體組中存儲的組播流量的讀取來利用時間局部性是本發明的特徵。 圖1示出了具有一組平行共用記憶體單元的交換機中的資料快取記憶體(caching)的示例性實施方式。所示出的存儲單元110包括主記憶體112,以及較小的高速緩衝記憶體(cache memory)114。如將在下文中更詳細描述的,高速緩衝記憶體114被設計為用來存儲多個組播資料包。在一個實施方式中,高速緩衝記憶體114可以包括在每個共用記憶體組中。在另一實施方式中,高速緩衝記憶體可以與一群(group)共用記憶體組相關聯。 當流量進入交換機時,資料包處理單元對資料包進行即時操作,例如,組幀/分幀、分類、流量監管和整形、修改、壓縮/加密、排隊等。作為該處理的一部分,資料包處理單元可以分離單播和組播流量,並且將那些資料包放在不同的佇列中。這裡,應注意,讀或寫可以發生在資料包邊界(boundary)或(資料包的)段邊界。 為了示出流量的單播和組播類型的相對處理,單個組播資料包被識別為資料包122,而單個單播資料包被識別為資料包124。如圖所示,單播資料包122被路由到記憶體單元110。記憶體單元組中的一個特定組的選擇基於實現的特定的記憶體管理演算法。在記憶體單元110中,單播資料包122被存儲在主記憶體112中。 相比之下,當組播資料包124通過記憶體管理演算法被路由到記憶體單元110時,它首先被寫入主記憶體中,隨後在從主記憶體讀取組播資料包時被寫入到組播高速緩衝記憶體114。這是由於組播資料包產生的時間局部性。這裡,應注意,首先進行檢查以確定高速緩衝記憶體114是否具有空間來存儲組播資料包124。該檢查是必要的,因為高速緩衝記憶體114的大小沒有被設計為保證每個組播資料包的存儲。雖然根據被設計為處理以給定的線速到達的輸出單播資料包的存儲的實現存儲管理演算法能夠確定交換機中的記憶體單元的數量,但是當事先不知道組播流量和單播流量的百分比時,不能夠如此確定組播記憶體的大小。此外,給定的組播高速緩衝記憶體可以與一組記憶體單元而不是單個記憶體單元相關聯,從而以很少的額外開銷而提供顯著改進的組播流量性能。 高速緩衝記憶體114中的組播資料包124的存儲係利用由組播資料包114創建的高度時間局部性。應理解,當組播資料包124被存儲在記憶體單元110中時,對於組播資料包124期望多次讀取記憶體單元110。根據本發明,高速緩衝記憶體114中的組播資料包124的存儲能夠在組播資料包駐留在高速緩衝記憶體114中的時隙中從記憶體單元110進行兩次讀取。具體地,在給定的時隙中,可從主記憶體中讀取單播資料包122,可以從高速緩衝記憶體114讀取組播資料包124。在隨後的時隙中,相同的組播資料包的124可進一步從緩衝記憶體中讀取,而不抑制從主記憶體112讀取單播資料包。 為了進一步示出高速緩衝記憶體114處理組播流量的使用,現在參照圖2的流程圖。如圖所示,從記憶體單元讀取組播流量的處理從步驟202開始,在步驟202,接收到讀取組播流量的請求。在步驟204,評估組播資料包讀取請求,以確定該組播資料包是否存儲在高速緩衝記憶體中。如果在步驟204中確定組播資料包存儲在高速緩衝記憶體中,則在步驟206從高速緩衝記憶體讀取該組播資料包。可選地,如果在步驟204確定該組播資料包未存儲在高速緩衝記憶體中,則在步驟208從主記憶體讀取該組播資料包。 應理解,包括小的高速緩衝記憶體114被設計為以高效的方式解決交換機中組播流量的處理。在本發明中,小的高速緩衝記憶體114相對於主記憶體較小並且其大小基於具體的性能目標來確定。這裡,應注意,包括小的高速緩衝記憶體114與創建額外的共用記憶體組不同。只添加額外的共用記憶體組將導致效率低下,這是因為經常根據模擬先到先服務的OQ交換機的記憶體管理演算法的設計來選擇共用記憶體組的數量。因此,添加小的組播高速緩衝記憶體在提供記憶體單元大小的邊界增加方面有優勢,其中該邊界增加提供了高效解決組播流量產生的時間局部性的交換機記憶體輸送量的大幅增加。 使用快取記憶體來解決時間局部性問題不限於上述資料快取記憶體實例。在一個實施方式中,快取記憶體可以應用於組播流量的讀取請求,而不是組播資料本身。這裡,各組播讀取請求將被存儲在組播讀取請求快取記憶體中。將對在來自共用記憶體組的實際讀取事件之前發生的對同一共用記憶體組的請求進行計數。換言之,額外的組播讀取請求將在實際讀取事件之前積累。應理解,組播讀取請求的積累還包括諸如額外的組播讀取請求的目的埠的控制資訊的通過(passage)。 當來自共用記憶體組的組播資料包的實際讀取發生時,將一次讀取組播資料包。所讀取的組播資料包將與指定目的地埠的控制資訊一起傳遞,此時,組播資料包將被複製並且傳送到積累其組播資料包請求的多個目的埠。 圖3示出用於讀取請求快取記憶體的組播資料包的通用控制結構。如圖所示,在單個讀取事件中,從記憶體單元310讀取組播資料包。該資料包被傳遞到也接收控制資訊(例如,計數和目的地埠)的控制元件320,從而將該組播資料包傳送到多個已確認(identify)的目的埠。 這裡,應注意,組播讀取請求的累積數量可以代表小於特定組播資料包的組播讀取請求的總數。事實上,共用記憶體組中的特定組播資料包的多次實際讀取仍然可能發生。然而,重要的是,對一組共用記憶體的組播資料包的各實際讀取能夠代表多個讀取請求。因此,讀取請求快取記憶體通過減少對特定共用記憶體分組的實際讀取次數而解決了時間局部性問題。這種減少有效地增加了共用記憶體交換機的輸送量。 通過對前面詳細描述的回顧,本發明的這些和其它方面對本領域的技術人員將變得顯而易見。雖然上面已經描述了本發明的大量顯著特徵,但是本發明可以具有其它實施例,並能夠在本領域的技術人員閱讀所公開的發明之後以對本領域技術人員顯而易見的各種方式來實施和執行,因此上面的描述不應被認為排除這些其它實施例。此外,應理解,本文使用的措辭和術語是僅用於說明的目的,並且不應被視為限制。 110‧‧‧記憶體單元 112‧‧‧主記憶體 114‧‧‧高速緩衝記憶體 122‧‧‧單播資料包 124‧‧‧組播資料包 310‧‧‧記憶體單元 320‧‧‧控制元件 圖1示出具有一組並行的共用記憶體的交換機中資料快取記憶體的示例性實施方式。 圖2示出了本發明的處理的流程圖。 圖3示出了組播流量的讀取請求快取記憶體的示例性實施方式。 110‧‧‧記憶體單元 112‧‧‧主記憶體 114‧‧‧高速緩衝記憶體 122‧‧‧單播資料包 124‧‧‧組播資料包
权利要求:
Claims (9) [1] 一種交換機,包括:多個入站埠,所述多個入站埠從相應的多個第一網路設備接收流量,所述多個第一網路設備經由各自的多個第一網路通信電纜而耦接至所述多個入站埠;多個出站埠,所述多個出站埠向相應的多個第二網路設備發送流量,所述多個第二網路設備經由各自的多個第二網路通信電纜而耦接至所述多個出站埠;以及多個共用記憶體組,將所述多個入站埠耦接至所述多個出站埠,所述多個共用記憶體組中的每個都具有主記憶體,其中,與所述多個共用記憶體組中的第一個相關聯的高速緩衝記憶體用於存儲組播流量,從而使在所述第一共用記憶體組的主記憶體中存儲的單播流量的讀取能夠與所述第一共用記憶體組相關聯的所述高速緩衝記憶體中存儲的組播流量的讀取並行。 [2] 根據申請專利範圍第1項所述的交換機,其中,所述多個共用記憶體組中的每個都具有用於存儲組播流量的高速緩衝記憶體。 [3] 根據申請專利範圍第1項所述的交換機,其中,所述高速緩衝記憶體與一群共用記憶體組相關聯。 [4] 一種交換機中的組播流量讀取方法,包括:接收在多個共用記憶體組中的已確定的一個中存儲的組播流量資料包的讀取請求,所述多個共用記憶體組耦接所述交換機中的多個入站埠和多個出站埠;確定所請求的組播流量資料包是否存儲在與所述多個共用記憶體組的所確定的一個相關聯的高速緩衝記憶體中;如果確定所請求的組播流量資料包存儲在與所述多個共用記憶體組的所確定的一個相關聯的高速緩衝記憶體中,則從所述高速緩衝記憶體中讀取所請求的組播流量資料包;以及如果確定所請求的組播流量資料包未存儲在與所述多個共用記憶體組的所確定的一個相關聯的高速緩衝記憶體中,則從所述多個共用記憶體組中的所確定的一個的主記憶體讀取所請求的組播流量資料包。 [5] 根據申請專利範圍第4項所述的方法,其中,所述確定包括確定所請求的組播流量資料包是否存儲在所述多個共用記憶體組中的所述一個中包含的高速緩衝記憶體中。 [6] 根據申請專利範圍第5項所述的方法,其中,所述確定包括確定所請求的組播流量資料包是否存儲在與包括所述多個共用記憶體組的所述一個的多個共用記憶體組相關聯的高速緩衝記憶體中。 [7] 根據申請專利範圍第5項所述的方法,還包括在從所述高速緩衝記憶體讀取所請求的組播流量資料包的同時,從所述多個共用記憶體組的所確定的一個的主記憶體中讀取所請求的單播流量資料包。 [8] 一種交換機中的組播流量讀取方法,包括:接收在多個共用記憶體組中的所確定的一個中存儲的組播流量資料包的讀取請求,所述多個共用記憶體組耦接所述交換機中的多個入站埠和多個出站埠;將對所述組播流量資料包的所述讀取請求存儲在請求快取記憶體中;在所述組播流量資料包的讀取事件之前,對所述組播流量資料包的額外讀取請求進行計數;以及將通過所述讀取事件而獲得的所述組播流量資料包傳送到由所述額外讀取請求代表的多個出站埠。 [9] 根據申請專利範圍第8項所述的方法,還包括將入站埠的確認傳遞到控制所述傳送的控制元件。
类似技术:
公开号 | 公开日 | 专利标题 TWI476601B|2015-03-11|交換機和交換機中的組播流量讀取方法 US11178262B2|2021-11-16|Fabric control protocol for data center networks with packet spraying over multiple alternate data paths US9800513B2|2017-10-24|Mapped FIFO buffering US9400606B2|2016-07-26|System and method for efficient buffer management for banked shared memory designs US9077466B2|2015-07-07|Methods and apparatus for transmission of groups of cells via a switch fabric US6628615B1|2003-09-30|Two level virtual channels US20030026267A1|2003-02-06|Virtual channels in a network switch US20120155495A1|2012-06-21|Packet assembly module for multi-core, multi-thread network processors US20130266016A1|2013-10-10|Grid router CN103139093A|2013-06-05|基于fpga的高速网络数据流负载均衡调度方法 WO2016019554A1|2016-02-11|一种队列管理的方法和装置 Escudero-Sahuquillo et al.2008|FBICM: Efficient congestion management for high-performance networks using distributed deterministic routing US8345701B1|2013-01-01|Memory system for controlling distribution of packet data across a switch Lin et al.2010|Two-stage fair queuing using budget round-robin CN113711551A|2021-11-26|促进网络接口控制器(nic)中的动态命令管理的系统和方法 US7573889B1|2009-08-11|Systems and methods for efficient buffering and metering of high-speed flows US20210409506A1|2021-12-30|Devices and methods for managing network traffic for a distributed cache US20220052970A1|2022-02-17|Devices and methods for network message sequencing US20200236052A1|2020-07-23|Improving end-to-end congestion reaction using adaptive routing and congestion-hint based throttling for ip-routed datacenter networks US11108704B2|2021-08-31|Use of stashing buffers to improve the efficiency of crossbar switches WO2022039834A1|2022-02-24|Devices and methods for network message sequencing CN113347112A|2021-09-03|一种基于多级缓存的数据包转发方法及装置
同族专利:
公开号 | 公开日 US20130083796A1|2013-04-04| TWI476601B|2015-03-11| CN103036805B|2015-11-25| EP2575290B1|2014-08-06| HK1180145A1|2013-10-11| CN103036805A|2013-04-10| US8630286B2|2014-01-14| EP2575290A1|2013-04-03|
引用文献:
公开号 | 申请日 | 公开日 | 申请人 | 专利标题 US6310875B1|1998-03-30|2001-10-30|Nortel Networks Limited|Method and apparatus for port memory multicast common memory switches| JP2000013385A|1998-06-19|2000-01-14|Fujitsu Ltd|セルブリッジ装置及びセルブリッジ方法並びにセルブリッジ装置を有する情報伝送システム| US7007071B1|2000-07-24|2006-02-28|Mosaid Technologies, Inc.|Method and apparatus for reducing pool starvation in a shared memory switch| CN1146192C|2002-04-17|2004-04-14|华为技术有限公司|以太网交换芯片输出队列管理调度方法和装置| US7292529B1|2002-07-31|2007-11-06|Juniper Networks, Inc.|Memory load balancing for single stream multicast| US20070268901A1|2003-12-17|2007-11-22|Paolo Narvaez|Technique For Deallocation of Memory In A Multicasting Environment| JP4141304B2|2003-03-27|2008-08-27|富士通株式会社|マルチキャスト通信ネットワークにおける通信方法、受信端末、l2スイッチおよびl3スイッチ| DE602005026466D1|2005-12-28|2011-03-31|Telecom Italia Spa|Verfahren und system zur verwaltung von multicast-ablieferungsinhalt in kommunikationsnetzen| US7809009B2|2006-02-21|2010-10-05|Cisco Technology, Inc.|Pipelined packet switching and queuing architecture| US8547891B2|2006-10-10|2013-10-01|Qualcomm Incorporated|Systems and methods for improving multicasting over a forward link| US8385148B2|2009-06-15|2013-02-26|Broadcom Corporation|Scalable, dynamic power management scheme for switching architectures utilizing multiple banks| US8533388B2|2009-06-15|2013-09-10|Broadcom Corporation|Scalable multi-bank memory architecture| CN102111327B|2009-12-29|2014-11-05|中兴通讯股份有限公司|信元调度方法和系统| JP2012146201A|2011-01-13|2012-08-02|Toshiba Corp|オンチップルータ及びそれを用いたマルチコアシステム|US9122439B2|2013-05-31|2015-09-01|Broadcom Corporation|System and method for efficient buffer management for banked shared memory designs| US9571541B1|2013-10-03|2017-02-14|Marvell IsraelLtd.|Network device architecture using cache for multicast packets| US10003551B2|2015-03-30|2018-06-19|Cavium, Inc.|Packet memory system, method and device for preventing underrun| US10367758B2|2016-09-12|2019-07-30|Marvell World Trade Ltd.|Merging read requests in network device architecture| JP2019159722A|2018-03-12|2019-09-19|富士通株式会社|情報処理装置、演算処理装置及び情報処理装置の制御方法| CN112088521A|2018-05-07|2020-12-15|华为技术有限公司|一种用于高带宽、高容量交换机的内存设备| US10970808B2|2019-06-24|2021-04-06|Intel Corporation|Shared local memory read merge and multicast return|
法律状态:
2017-12-11| MM4A| Annulment or lapse of patent due to non-payment of fees|
优先权:
[返回顶部]
申请号 | 申请日 | 专利标题 US201161541612P| true| 2011-09-30|2011-09-30|| US13/366,292|US8630286B2|2011-09-30|2012-02-04|System and method for improving multicast performance in banked shared memory architectures| 相关专利
Sulfonates, polymers, resist compositions and patterning process
Washing machine
Washing machine
Device for fixture finishing and tension adjusting of membrane
Structure for Equipping Band in a Plane Cathode Ray Tube
Process for preparation of 7 alpha-carboxyl 9, 11-epoxy steroids and intermediates useful therein an
国家/地区
|